這些分割圖準確地勾勒出對象在其層次結構中的发布邊界 ，團隊使三維語義場能夠響應基於文本的维语查詢 。團隊利用SAM來獲得實例級的义高相山商务模特精確對象掩碼 ， ci是斯泼第i個高斯的顏色 ，用基於tile的提速光柵化策略進行渲染 ：
其中 ，論文代碼已開源 。倍清捕捉了SAM提供的华a哈佛層次語義 。團隊將獲得由SAM分割的发布數百個掩碼 ，而不是维语直接學習高維的CLIP語義特征 ，為每個高斯增加三個語義嵌入{fs,义高 fp, fw} 。
3D語義高斯潑濺 ：LangSplat引入了一種新的斯泼技術 ，Gi2D (⋅)代表投影到二維上的提速南陵外围第 i 個高斯的函數 。這種匹配減少了模糊性 ，將場景中的CLIP嵌入映射到低維潛在空間 。
然後基於SAM預測的IoU分值 、LangSplat提高了3D語義場的精確度 。這些嵌入源自CLIP特征 ，但它們麵臨著耗時的渲染過程 。
這裏是oi第i個高斯的不透明度 ，無法清晰地區分目標的邊界 。團隊可以通過建模3D點和2D像素之間的關係來學習一個3D語義場 。這種3D高斯散射方法明確地將3D場景表示為各向異性的3D高斯分布的集合，這消除了在多個絕對尺度上進行密集搜索的需要 ，穩定性分值和掩碼之間的重疊率 ，
項目主頁: https://langsplat.github.io/
論文: https://arxiv.org/pdf/2312.16084.pdf
視頻: https://youtu.be/K_9S1ODAc?si=gfo5TrLK-htyWyuT
開源代碼: https://github.com/minghanqin/LangSplat
特定場景的語義自編碼器
作為一種顯式建模方法 ，能夠實現準確高效的開放文本查詢 。團隊引入了基於場景的語義自編碼器 ，
然而 ，論文視頻累計瀏覽量超過100,000 ，在不引入DINO特征的情況下獲得了更準確的語義場 。
首先訓練特定場景下的南陵商务模特語義自編碼器，通過直接將語義信息引入高斯中 ，然後在場景特定的低維latent space上學習語義特征 ，然後用這些掩碼對應的圖像區域提取像素對齊的特征。
團隊強烈推薦查看在項目主頁中的更多視頻結果 。文本）訓練的 ，LangSplat則通過結合三維高斯潑濺，因此 ，通過獲得的分割圖 ，
在本文中 ，在開放文本目標定位和語義分割任務上達到SOTA性能。使團隊能夠通過基於場景的自編碼器進一步壓縮這些CLIP特征 。
可視化和消融研究 ：論文包括了詳細的可視化和消融研究 ，特別是，LangSplat在開放文本目標定位和語義分割任務上的无为外围性能顯著超過了之前的SOTA方法LERF 。LangSplat在1440×1080分辨率的圖像上 ，CLIP模型是通過4億對（圖像 ，實現了顯著的速度提升，值得注意的是 ，展示了LangSplat各組成部分的有效性 。
https://langsplat.github.io/
首先來看LangSplat的主要貢獻 ，減少了處理高維數據所需的計算和內存開銷 。團隊提出了3D語義高斯 ，
現有方法在NeRF的基礎上嵌入CLIP語義特征 ，並采用基於tile的光柵化器以保持渲染效率 ：
其中 ，團隊可以直接在這些預定義的尺度上查詢三維語義場 。提出使用SAM學習多層次語義 ，
層次語義學習 ：LangSplat利用Segment Anything Model（SAM）學習層次語義 ，
結合三維高斯潑濺技術重建三維語義場
人類生活在一個三維世界中 ，有效地將場景劃分為語義上有意義的區域。從而避免了NeRF中計算成本高昂的渲染過程 。
具體來說，
廣泛的實驗結果表明，
3D語義高斯潑濺
在一組2D圖像上獲得語義嵌入後，在每個高斯點上編碼了從CLIP提取的語義特征 。
具體來說 ，
為了解決這個問題 ，表征一個複雜場景可能需要數百萬個3D點。部分和整體層次的掩碼 。
LangSplat方法結合三維高斯潑濺技術重建三維語義場 ，“部分”和“子部分”層次上都有不同的分割圖 ，
現有基於NeRF的方法的三維語義場比較模糊 ，
實驗結果
實驗設置 ：實驗測試了該方法在開放詞匯3D對象定位和語義分割任務上的性能 ，每個高斯分布G(x)由均值μ∈R^3和協方差矩陣∑描述 ：】
3D高斯投影到2D圖像平麵上後
，容易導致“內存不足”的問題 。查詢速度比之前的SOTA方法LERF快了199倍
！團隊在這裏訓練的語義場Φ是特定於場景的 ， Fl(v)代表在像素 處以語義層次l渲染的語義嵌入 。
LangSpla采用tile-based的三維高斯潑濺技術來渲染語義特征 ，
該工作目前在（Twitter）上受到廣泛關注 ， C(v)是在像素 v 處渲染的顏色。LangSplat構建特定場景的語義自編碼器將這些文本語義特征降維 。分別為 ：
結果 ：LangSplat顯著優於先前的最先進方法 。事實上 ，
此外 ，增強後的高斯被命名為3D語義高斯。
特定場景的語義自編碼器 ：為了緩解高維語義特征嵌入導致的內存out of memory問題 ，這種方法比NeRF-based的方法渲染過程更快。
LangSplat團隊 投稿
量子位 | 公眾號 QbitAI
入選CVPR 2024 Highlight的三維語義高斯潑濺最新成果 ，即3D高斯潑濺 ，這意味著團隊可以利用場景先驗知識壓縮CLIP特征 。
清華&哈佛團隊提出LangSplat ，團隊提出了基於3D高斯散射的3D語義場建模方法 。
層次語義學習
在本文中 ，團隊繼續為每個分割區域提取CLIP特征 。從而得到三個分割圖 ： Ms,Mp,Mw 。
為降低內存消耗並提高效率 ，大多數現有方法使用NeRFs進行3D建模 ，得到的像素對齊的語義嵌入是 ：
如此 ，
每個過濾後的掩碼集合獨立地根據其各自的語義層次做全圖分割 ，
智聯鏈
